«Сбер» открыл разработчикам доступ к нейросети для создания видеоаватаров

«Сбер» открыл доступ к Kandinsky Avatar 1.0 — семейству моделей для создания говорящих видеоаватаров по фотографии и аудиозаписи. Разработчики могут бесплатно использовать код и веса моделей в собственных проектах, в том числе коммерческих. Об этом Sostav сообщили в пресс-службе компании.

Модель создает видео продолжительностью до одной минуты с частотой 24 кадра в секунду. Она позволяет оживлять не только людей, но и животных, а также мультипликационных персонажей.

Для генерации ролика необходимы изображение, запись голоса и короткое текстовое описание сцены. Нейросеть синхронизирует движения губ с речью, добавляет мимику, повороты головы и жесты. Эмоции персонажа, например радость, грусть или злость, можно задать с помощью текстовой команды.

Kandinsky Avatar поддерживает разные языки, ориентируясь на язык исходной аудиозаписи. При этом модель не синтезирует и не клонирует голос, а использует только предоставленную пользователем запись.

Код и веса доступны под открытой лицензией MIT на GitHub, GitVerse и Hugging Face. Модель также можно будет запускать через инструменты ComfyUI и Diffusers. «Сбер» планирует интегрировать технологию в собственные сервисы.

В апреле «Сбер» обновил модель для работы с изображениями Kandinsky 6.0 Image, интегрированную в ИИ-помощник «ГигаЧат».